# vllm serve /home/madengyun/MyGit/DeepSeek-R1-Distill-Qwen-7B  --port 8102 --max-model-len 16384 --block-size 16

from openai import OpenAI   
  
# 配置 OpenAI API 密钥和 Base URL 以连接 vLLM 服务 
openai_api_key = "EMPTY"# vLLM 服务不需要 API 密钥，可以使用任意字符串  
openai_api_base = "http://localhost:8102/v1"#  请确保端口号与您启动 vLLM 服务时设置的端口号一致      

client = OpenAI(    
   api_key=openai_api_key,   
    base_url=openai_api_base,   
)      

prompt = """
User: 你好,你是谁?
Assistant: 你好,我是一个人工智能助手.
User: 你有哪些功能?
Assistant: 
"""

response = client.completions.create(   
    model="/home/madengyun/MyGit/DeepSeek-R1-Distill-Qwen-7B", #  请确保模型名称与您下载的模型一致     
    prompt=prompt,    
    stream=False, 
    max_tokens=100,
 )

print(response.choices[0].text) #  输出模型的回答内容
